มีตำนานเล่าขานกันมาว่า มีพ่อค้าชาวจีนที่โล้เรือสำเภาค้าขายในน่านน้ำทะเลอ่าวไทย ระหว่างประเทศจีน และ ประเทศไทย โดยเฉพาะเมืองสองเลแห่งนี้เป็นประจำ มีวันหนึ่งพ่อค้าระหว่างเดินตลาด ได้ถูกใจแมวและหมาสายพันธุ์ไทยอยู่คู่หนึ่งเลยซื้อมาเพื่อจะนำกลับไปเลี้ยงที่ประเทศจีน เนื่องด้วยการเดินทางทางทะเลในสมัยนั้น ค่อนข้างล่าช้า และกินเวลานาน หมากับแมวทั้งสองตัว เกิดความเบื่อหน่าย จึงวางแผนกันว่า จะกระโดดลงทะเลแล้วหนีขึ้นฝั่งกันดีกว่า โดยทราบช่าวว่า พ่อค้าจีนมีดวงแก้ววิเศษ  สามารถทำให้สามารถเดินบนน้ำได้ จึงคิดอุบาย โดยจะให้หนูซึ่งเป็นหนูที่อยู่บนเรือสำเภานั้น ไปขโมยมา ซึ่งหนูรู้แผนการนี้ จึงอยากจะหนีขึ้นฝั่งไปด้วย แมวกับหมาจึงตอบตกลง

หลังจากหนูขโมยดวงแก้ววิเศษมาแล้ว ทั้งสามจึงรีบกระโดดลงทะเลแล้วหนีขึ้นฝั่ง แต่ในระหว่างทางนั้นเอง หนูซึ่งเป็นจ่าฝูงวิ่งนำอยู่ ฉุกคิดขึ้นมาได้ ว่าถ้าถึงฝั่ง แมวต้องกินมันและเอาดวงแก้วไปแน่ๆ ซึ่งก็จริง ทางแมวก็คิดอย่างนั้นจริงๆ หนูจึงรีบวิ่งหนีบนน้ำ แมวเห็นหนูรู้ตัวจึงรีบวิ่งไล่ตาม ส่วนหมา ก็วิ่งตามด้วยเช่นกัน

ในขณะที่หนูเร่งฝีเท้าอย่างสุดชีวิตจนเผลอทำดวงแก้ววิเศษที่อมไว้ตกน้ำจมหายไปในทะเล จึงทำให้ทั้งสามไม่สามารถวิ่งบนน้ำได้ จึงต้องวางน้ำกันต่อ แต่ว่ายกันไปสักพัก หนูก็หมดแรง แล้วก็จมน้ำตายกลายเป็นเกาะหนู ห่างออกไปแมวก็หมดแรงจมน้ำเช่นกัน จึงกลายเป็นเกาะแมว อยู่อ่าวหน้าเมือง

ส่วนหมา หมาเป็นสัตว์ที่ว่ายน้ำเก่งสุดในสามชนิด จึงว่ายไปจนถึงฝั่งและสิ้นใจตายด้วยความเหน็ดเหนื่อยกลายเป็นหินบริเวณเขาตังกวนอยู่ริมอ่าวสงขลา ส่วนดวงแก้ววิเศษที่หล่นจากปากหนู แตกละเอียดกลายเป็นหาดทรายแก้วอยู่ทางด้านเหนือของแหลมสน[9][10][11]